Thậm chí trước khi Tào Tháo mất, Tư Mã Ý đã cận kề với người kế vị ông ta là Tào Phi. Khi Tào Phi được chọn làm Thế tử nhà Ngụy năm 216, Tư Mã Ý trở thành thư ký của Tào Phi. Khi Tào Tháo phân vân giữa việc lựa chọn Tào Phi và Tào Thực, Tư Mã Ý nằm trong số những người ủng hộ Tào Phi và giúp ông lên kế vị. Nhờ thế, Tư Mã Ý được Tào Phi hết lòng tin cậy.[3]

Sau khi Tào Tháo chết, Tào Phi kế vị trở thành Ngụy Văn Đế, Tư Mã Ý đã tham gia vào việc hạ bệ và gạt Tào Thực khỏi vũ đài chính trị.[6] Ông được Tào Phi phong làm Hà Tân đình hầu (河津亭侯), thăng Thừa tướng Trưởng sử (丞相长史), dần lên Thượng thư, Đốc quân rồi Ngự sử Trung thừa (御史中丞), cải tước vị thành An Quốc Hương hầu (安国乡侯). Năm 221, ông được thăng Thị trung, kiêm Thượng thư Hửu phó xạ.

Năm 225, Tào Phi cầm quân tấn công Đông Ngô của Tôn Quyền, và giao cho Tư Mã Ý cai quan kinh đô khi ông ta vắng mặt. Tào Phi coi Tư Mã Ý như Tiêu Hà, người được ca ngợi về những đóng góp lặng lẽ phía sau trận tiền.[5] Ngay sau khi trở về, Tào Phi một lần nữa đánh giá cao Tư Mã Ý, nói "Khi ta đang ở phía Đông, ông đã ở lại kinh đô bảo vệ nó chống lại nhà Thục ở phía Tây. Khi ta đi về phía Tây đánh Thục, ta sẽ lại để ông ở lại chống lại nhà Ngô ở phía Đông."[7] Tư Mã Ý nhanh chóng được thăng chức Lục Thượng thư sự (録尚書事) (người đứng đầu các quan thượng thư), ở thời điểm ấy có quyền lực thực tế và trách nhiệm như Thừa tướng.